Σε αυτό το κεφάλαιο, εξετάζουμε τη μέθοδο LOESS (Locally Estimated Scatterplot Smoothing), μια μη παραμετρική προσέγγιση για την προσαρμογή μιας ομαλής καμπύλης σε ένα διάγραμμα διασποράς. Σε αντίθεση με την παραδοσιακή γραμμική παλινδρόμηση, η οποία εκτιμά μία ενιαία καθολική γραμμική σχέση για όλες τις παρατηρήσεις, το LOESS εκτελεί τοπικές γραμμικές παλινδρομήσεις γύρω από κάθε σημείο δεδομένων. Αυτό επιτρέπει στο μοντέλο να αποτυπώνει πιο σύνθετα, μη γραμμικά μοτίβα στα δεδομένα. Ωστόσο, μια βασική κατανόηση της γραμμικής παλινδρόμησης είναι χρήσιμη, καθώς το LOESS βασίζεται στις αρχές της, ενσωματώνοντας τεχνικές τοπικής προσαρμογής (local fitting).
Αρχική προετοιμασία
Ξεκινάμε φορτώνοντας τα απαραίτητα packages, το Pandas, το Seaborn και το Matplotlib, μαζί με το σύνολο δεδομένων mtcars, το οποίο εισάγουμε απευθείας από ένα αποθετήριο στο GitHub:
import pandas as pdimport seaborn as snsimport matplotlib.pyplot as plt# Εισαγωγή του mtcarsmtcars = pd.read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/mtcars.csv")# Εμφάνιση των πρώτων γραμμώνmtcars.head()
name
mpg
cyl
...
am
gear
carb
0
Mazda RX4
21.0
6
...
1
4
4
1
Mazda RX4 Wag
21.0
6
...
1
4
4
2
Datsun 710
22.8
4
...
1
4
1
3
Hornet 4 Drive
21.4
6
...
0
3
1
4
Hornet Sportabout
18.7
8
...
0
3
2
5 rows × 12 columns
Το σύνολο δεδομένων mtcars αποτελείται από 32 παρατηρήσεις (αυτοκίνητα) και 11 μεταβλητές (συν μία στήλη με το όνομα του αυτοκινήτου) και παρέχει πληροφορίες για διάφορα χαρακτηριστικά των αυτοκινήτων, μεταξύ των οποίων η κατανάλωση καυσίμου. Για λόγους επίδειξης, θα εστιάσουμε σε δύο μεταβλητές: wt (βάρος του αυτοκινήτου) και mpg (μίλια ανά γαλόνι). Για να διευκολύνουμε την ανάλυση, δημιουργούμε ένα νέο σύνολο δεδομένων που περιέχει μόνο αυτές τις μεταβλητές, με πιο σαφή ονόματα στηλών, και το αποθηκεύουμε ως data:
# Επιλογή μεταβλητών και δημιουργία νέου objectdata = mtcars[['wt', 'mpg']].rename( columns = {'wt': 'Weight','mpg': 'Miles_per_Gallon'} )
Το παρακάτω διάγραμμα διασποράς απεικονίζει τη σχέση μεταξύ του βάρους του οχήματος και της απόδοσης καυσίμου:
# Ορισμός θέματοςsns.set_theme(style ="whitegrid")# Δημιουργία διαγράμματος διασποράςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Προσαρμογή των τίτλων των αξόνωνplt.xlabel("Weight")plt.ylabel("Miles per Gallon")# Εμφάνιση του διαγράμματοςplt.show()
Εικόνα 13.1: Διάγραμμα διασποράς που απεικονίζει τη σχέση μεταξύ του βάρους του αυτοκινήτου και των μιλίων ανά γαλόνι.
Είναι εμφανής μια αρνητική γραμμική τάση: καθώς αυξάνεται το βάρος του οχήματος, τα μίλια ανά γαλόνι τείνουν να μειώνονται.
Γραμμική παλινδρόμηση με το OLS
Η συνήθης μέθοδος για την εκτίμηση γραμμικών σχέσεων είναι η μέθοδος των ελαχίστων τετραγώνων (Ordinary Least Squares, OLS) (βλ. Κεφάλαιο Συσχέτιση και απλή γραμμική παλινδρόμηση). Ως υπενθύμιση, ο στόχος του OLS είναι να ελαχιστοποιήσει το άθροισμα των τετραγώνων των καταλοίπων, βρίσκοντας έτσι το γραμμικό μοντέλο με τη βέλτιστη προσαρμογή. Επομένως, το OLS προσαρμόζει μία ενιαία ευθεία που προσεγγίζει όλα τα σημεία δεδομένων. Μπορούμε να οπτικοποιήσουμε αυτή την προσαρμογή με τη συνάρτηση regplot() του Seaborn. Η συνάρτηση αυτή μοιάζει με τη συνάρτηση sns.scatterplot(), αλλά έχει σχεδιαστεί ειδικά για ανάλυση παλινδρόμησης. Με άλλα λόγια, προσαρμόζει και εμφανίζει αυτόματα μια ευθεία παλινδρόμησης πάνω από τα δεδομένα. Επιπλέον, το όρισμα ci ελέγχει αν θα εμφανίζεται ένα διάστημα εμπιστοσύνης γύρω από την ευθεία παλινδρόμησης. Από προεπιλογή, η sns.regplot() εμφανίζει μια σκιασμένη ζώνη εμπιστοσύνης 95%, αλλά με ci = None η ζώνη αυτή αφαιρείται, για μια πιο καθαρή οπτικοποίηση που εστιάζει μόνο στην προσαρμοσμένη ευθεία και στα σημεία δεδομένων. Τέλος, το όρισμα scatter ελέγχει αν θα εμφανίζονται τα μεμονωμένα σημεία δεδομένων μαζί με την ευθεία παλινδρόμησης. Στον παρακάτω κώδικα, χρησιμοποιούμε μια ξεχωριστή κλήση της sns.scatterplot() για να εμφανίσουμε τα αρχικά σημεία δεδομένων για λόγους σαφήνειας, ενώ στην sns.regplot() ορίζουμε scatter = False, ώστε να σχεδιάζεται μόνο η προσαρμοσμένη ευθεία παλινδρόμησης. Αυτός ο διαχωρισμός διευκολύνει την οπτική διάκριση μεταξύ των παρατηρούμενων δεδομένων και της προσαρμογής του μοντέλου.
# Δημιουργία διαγράμματος διασποράςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Προσθήκη ευθείας παλινδρόμησηςsns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="black", scatter =False, ci =None)# Προσαρμογή των τίτλων των αξόνωνplt.xlabel("Weight")plt.ylabel("Miles per Gallon")# Εμφάνιση του διαγράμματοςplt.show()
Εικόνα 13.2: Διάγραμμα διασποράς με ευθεία παλινδρόμησης OLS.
Σχεδίαση σε επίπεδα στο Seaborn
Στο Seaborn, όταν καλούμε πολλές φορές συναρτήσεις σχεδίασης όπως η sns.regplot() στο ίδιο γράφημα, τα προηγούμενα διαγράμματα δεν αντικαθίστανται—τα νέα στοιχεία προστίθενται σε επίπεδα πάνω από τους υπάρχοντες άξονες. Αυτό μας επιτρέπει να συγκρίνουμε διαφορετικά μοντέλα (π.χ. γραμμικό, πολυωνυμικό ή LOESS), σχεδιάζοντας πολλές προσαρμοσμένες καμπύλες στο ίδιο διάγραμμα διασποράς. Κάθε κλήση προσθέτει μια νέα καμπύλη στο ίδιο διάγραμμα, γεγονός που την καθιστά μια ευέλικτη προσέγγιση για την οπτική σύγκριση μοντέλων. Η συμπεριφορά αυτή δεν αφορά μόνο την sns.regplot(): οι συναρτήσεις σχεδίασης που σχεδιάζουν στους τρέχοντες άξονες, όπως οι sns.scatterplot(), sns.histplot() και η plt.plot() του Matplotlib, προσθέτουν όλες στο ίδιο γράφημα, εκτός αν δημιουργηθεί ρητά ένα νέο γράφημα. Οι εξαιρέσεις είναι συναρτήσεις όπως οι sns.relplot(), sns.catplot() και sns.displot(), οι οποίες δημιουργούν πάντα ένα νέο γράφημα.
Για να προσαρμόσουμε ρητά το μοντέλο, χρησιμοποιούμε τη συνάρτηση ols() του statsmodels, με την οποία ορίζουμε ένα μοντέλο παλινδρόμησης ελαχίστων τετραγώνων:
from statsmodels.formula.api import ols# Δημιουργία μοντέλου γραμμικής παλινδρόμησηςols_model = ols("Miles_per_Gallon ~ Weight", data = data ).fit()
Αν και η οπτική προσαρμογή φαίνεται λογική, μπορούμε να αξιολογήσουμε την προσαρμογή του μοντέλου με συνοπτικά στατιστικά μέτρα. Το R-squared, για παράδειγμα, ποσοτικοποιεί το ποσοστό του variance του Miles_per_Gallon που ερμηνεύεται από το Weight:
# Έλεγχος των συνοπτικών αποτελεσμάτωνols_model.summary()
Συντελεστής
Std. Error
Τιμή t
p-value
Κάτω όριο ΔΕ
Άνω όριο ΔΕ
Intercept
37.29
1.88
19.86
0.0
33.45
41.12
Weight
-5.34
0.56
-9.56
0.0
-6.49
-4.20
Στατιστικό
Τιμή
0
Εξαρτημένη μεταβλητή
Miles_per_Gallon
1
Μοντέλο
OLS
2
Μέθοδος
Ελάχιστα τετράγωνα
3
Αριθμός παρατηρήσεων
32
4
Βαθμοί ελευθερίας καταλοίπων
30
5
Βαθμοί ελευθερίας μοντέλου
1
6
Τύπος covariance
nonrobust
7
R-squared
0.75
8
Adj. R-squared
0.74
9
F-statistic
91.38
10
Prob (F-statistic)
1.29e-10
11
Log-Likelihood
-80.0
12
AIC
164.0
13
BIC
167.0
Το R-squared που προκύπτει, περίπου 0.75, δείχνει ότι περίπου το 75% της μεταβλητότητας στην απόδοση καυσίμου ερμηνεύεται από το βάρος του οχήματος.
Φυσικά, μπορούμε να χρησιμοποιήσουμε το OLS για να αποτυπώσουμε μια μη γραμμική σχέση με πολυωνυμικούς όρους, δηλαδή να συμπεριλάβουμε την ίδια ανεξάρτητη μεταβλητή υψωμένη στη δύναμη 2 ή σε μεγαλύτερη.
Το παρακάτω διάγραμμα δείχνει την καμπύλη παλινδρόμησης όταν προσθέτουμε έναν πολυωνυμικό όρο 2ου βαθμού. Ο κώδικας είναι σχεδόν ίδιος με τον προηγούμενο· απλώς προσθέτουμε το όρισμα order:
# Δημιουργία διαγράμματος διασποράςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Προσθήκη καμπύλης παλινδρόμησης με πολυώνυμο 2ου βαθμούsns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", scatter =False, line_kws = {"color": "black"}, ci =None, order =2)# Προσαρμογή των τίτλων των αξόνωνplt.xlabel("Weight")plt.ylabel("Miles per Gallon")# Εμφάνιση του διαγράμματοςplt.show()
Εικόνα 13.3: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης OLS με πολυωνυμικούς όρους 2ου βαθμού.
Αυτή η καμπύλη είναι πιο ευέλικτη και φαίνεται να προσαρμόζεται καλύτερα στα δεδομένα. Μπορούμε να το επιβεβαιώσουμε ελέγχοντας το R-squared του νέου πολυωνυμικού μοντέλου:
# Δημιουργία μοντέλου γραμμικής παλινδρόμησηςols_model_poly_2 = ols("Miles_per_Gallon ~ Weight + I(Weight ** 2)", data = data ).fit()
# Έλεγχος των συνοπτικών αποτελεσμάτωνols_model_poly_2.summary()
Συντελεστής
Std. Error
Τιμή t
p-value
Κάτω όριο ΔΕ
Άνω όριο ΔΕ
Intercept
49.93
4.21
11.86
0.0
41.32
58.54
Weight
-13.38
2.51
-5.32
0.0
-18.52
-8.24
I(Weight ** 2)
1.17
0.36
3.26
0.0
0.44
1.91
Στατιστικό
Τιμή
0
Εξαρτημένη μεταβλητή
Miles_per_Gallon
1
Μοντέλο
OLS
2
Μέθοδος
Ελάχιστα τετράγωνα
3
Αριθμός παρατηρήσεων
32
4
Βαθμοί ελευθερίας καταλοίπων
29
5
Βαθμοί ελευθερίας μοντέλου
2
6
Τύπος covariance
nonrobust
7
R-squared
0.82
8
Adj. R-squared
0.81
9
F-statistic
65.64
10
Prob (F-statistic)
1.71e-11
11
Log-Likelihood
-75.0
12
AIC
156.0
13
BIC
160.4
Το R-squared αυξήθηκε σε περίπου 82%, γεγονός που υποδηλώνει καλύτερη προσαρμογή. Θεωρητικά, όσο περισσότερους πολυωνυμικούς όρους προσθέτουμε, τόσο πιο ευέλικτη γίνεται η καθολική μας καμπύλη. Για παράδειγμα, με ένα πολυώνυμο 10ου βαθμού, το διάγραμμα μοιάζει ως εξής:
# Δημιουργία διαγράμματος διασποράςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Προσθήκη καμπύλης παλινδρόμησης με πολυώνυμο 10ου βαθμούsns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", scatter =False, line_kws = {"color": "black"}, ci =None, order =10)# Προσαρμογή των τίτλων των αξόνωνplt.xlabel("Weight")plt.ylabel("Miles per Gallon")# Εμφάνιση του διαγράμματοςplt.show()
Εικόνα 13.4: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης OLS με πολυωνυμικούς όρους 10ου βαθμού.
# Έλεγχος των συνοπτικών αποτελεσμάτωνols_model_poly_10.summary()
Συντελεστής
Std. Error
Τιμή t
p-value
Κάτω όριο ΔΕ
Άνω όριο ΔΕ
Intercept
-14921.12
60294.40
-0.25
0.81
-140310.20
110467.96
Weight
64581.35
210475.90
0.31
0.76
-373127.25
502289.96
I(Weight ** 2)
-120086.13
323611.33
-0.37
0.71
-793072.73
552900.47
I(Weight ** 3)
126931.93
288674.01
0.44
0.66
-473398.54
727262.39
I(Weight ** 4)
-84659.84
165515.44
-0.51
0.61
-428868.04
259548.35
I(Weight ** 5)
37315.52
63767.81
0.59
0.56
-95296.91
169927.94
I(Weight ** 6)
-11033.48
16727.66
-0.66
0.52
-45820.54
23753.59
I(Weight ** 7)
2165.90
2951.99
0.73
0.47
-3973.10
8304.91
I(Weight ** 8)
-270.73
335.63
-0.81
0.43
-968.71
427.25
I(Weight ** 9)
19.50
22.22
0.88
0.39
-26.70
65.70
I(Weight ** 10)
-0.62
0.65
-0.95
0.35
-1.97
0.74
Στατιστικό
Τιμή
0
Εξαρτημένη μεταβλητή
Miles_per_Gallon
1
Μοντέλο
OLS
2
Μέθοδος
Ελάχιστα τετράγωνα
3
Αριθμός παρατηρήσεων
32
4
Βαθμοί ελευθερίας καταλοίπων
21
5
Βαθμοί ελευθερίας μοντέλου
10
6
Τύπος covariance
nonrobust
7
R-squared
0.87
8
Adj. R-squared
0.81
9
F-statistic
14.08
10
Prob (F-statistic)
3.46e-07
11
Log-Likelihood
-69.7
12
AIC
161.4
13
BIC
177.5
Παρατηρούμε, ωστόσο, ότι η καμπύλη που προκύπτει λυγίζει απότομα όταν το βάρος πλησιάζει το 5. Αυτό συμβαίνει επειδή το μοντέλο προσπαθεί να αποτυπώσει τα λίγα σημεία που βρίσκονται μακριά από τα υπόλοιπα, και δεν υπάρχουν παρατηρήσεις με βάρος μεταξύ περίπου 4.1 και 5.2 που να συγκρατούν την καμπύλη. Βλέπουμε επίσης ότι το R-squared αυξήθηκε σε περίπου 87%, αν και το adjusted R-squared έμεινε ίδιο με αυτό του μοντέλου 2ου βαθμού (περίπου 0.81).
Παρ’ όλα αυτά, το τελευταίο μοντέλο δεν βγάζει νόημα· δεν θα περιμέναμε ποτέ τα μίλια ανά γαλόνι να είναι κάτω από το μηδέν! Αυτό ήδη δείχνει ότι, όταν προσπαθούμε να κάνουμε την καμπύλη πολύ ευέλικτη με το OLS, το αποτέλεσμα μπορεί απλώς να γίνει αναξιόπιστο.
Από το καθολικό στο τοπικό: Εισαγωγή στο LOESS
Το OLS χρησιμοποιεί ένα ενιαίο, καθολικό μοντέλο για όλα τα σημεία δεδομένων. Αν και η προσθήκη πολυωνυμικών όρων μπορεί να αυξήσει την ευελιξία, είδαμε ότι αυτή η προσέγγιση έχει τους περιορισμούς της και μπορεί να μας δώσει μια παραμορφωμένη εικόνα.
Το LOESS (Locally Estimated Scatterplot Smoothing) προσφέρει μια εναλλακτική προσέγγιση, εκτιμώντας τοπικές παλινδρομήσεις γύρω από κάθε παρατήρηση. Αντί να προσαρμόζει μία ενιαία ευθεία, το LOESS κατασκευάζει πολλά τοπικά γραμμικά μοντέλα που μαζί σχηματίζουν μια ομαλή, μη γραμμική καμπύλη μέσα από τα δεδομένα. Η μέθοδος εισήχθη αρχικά από τον Cleveland (1979) και αργότερα διατυπώθηκε τυπικά από τους Cleveland και Devlin (1988), και σήμερα συζητείται ευρέως στη σύγχρονη βιβλιογραφία της στατιστικής μάθησης.
Στην Python, μπορούμε να εμφανίσουμε μια καμπύλη LOESS ορίζοντας lowess = True στην sns.regplot(). Η παρακάτω οπτικοποίηση δείχνει μαζί την ευθεία του OLS (μαύρη) και την αντίστοιχη καμπύλη LOESS (κόκκινη):
# Διάγραμμα διασποράς με δύο καμπύλες παλινδρόμησηςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Ευθεία γραμμικής παλινδρόμησηςsns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", scatter =False, ci =None, color ="black")# Καμπύλη LOESS (ομαλή)sns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", scatter =False, lowess =True, ci =None, color ="red")# Ετικέτεςplt.xlabel("Weight")plt.ylabel("Miles per Gallon")plt.show()
Εικόνα 13.5: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης LOESS (κόκκινη) και ευθεία παλινδρόμησης OLS (μαύρη).
Η καμπύλη LOESS είναι πιο προσαρμοστική και αποτυπώνει λεπτά μοτίβα που η καθολική ευθεία του OLS δεν μπορεί να αποτυπώσει. Αυτό επιτυγχάνεται με την προσαρμογή τοπικών παλινδρομήσεων σε όλο το εύρος των δεδομένων. Σε αυτό το παράδειγμα, η καμπύλη LOESS μοιάζει πολύ με αυτή που πήραμε με το πολυώνυμο 2ου βαθμού (βλ. το παρακάτω διάγραμμα). Η διαφορά είναι ότι το LOESS καταλήγει σε αυτό το σχήμα χωρίς να χρειάζεται να επιλέξουμε εκ των προτέρων τη μορφή της καμπύλης (εδώ, τετραγωνική):
# Διάγραμμα διασποράςsns.scatterplot(data = data, x ="Weight", y ="Miles_per_Gallon", color ="blue")# Τετραγωνική παλινδρόμηση (πολυώνυμο 2ου βαθμού)sns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", order =2, scatter =False, ci =None, color ="black")# Εξομάλυνση LOESSsns.regplot(data = data, x ="Weight", y ="Miles_per_Gallon", lowess =True, scatter =False, ci =None, color ="red")# Ετικέτεςplt.xlabel("Weight")plt.ylabel("Miles per Gallon")plt.show()
Εικόνα 13.6: Διάγραμμα διασποράς με καμπύλη παλινδρόμησης LOESS (κόκκινη) και καμπύλη παλινδρόμησης OLS (μαύρη) με πολυώνυμο 2ου βαθμού.
Ο μηχανισμός του LOESS
Το LOESS χρησιμοποιεί την προσέγγιση του κινούμενου παραθύρου (moving window): για κάθε σημείο εστίασης (focal point), ένα υποσύνολο κοντινών παρατηρήσεων—οι λεγόμενοι «γείτονες» (neighbors)—επιλέγεται. Το ποσοστό των γειτόνων που χρησιμοποιούνται καθορίζεται από την παράμετρο του εύρους ζώνης (bandwidth, που ονομάζεται επίσης span), η οποία ορίζεται ως κλάσμα του συνολικού συνόλου δεδομένων. Για παράδειγμα, με 30 παρατηρήσεις και εύρος ζώνης 0.2, χρησιμοποιούνται οι έξι πλησιέστεροι γείτονες (το 20% των δεδομένων) για την προσαρμογή μιας τοπικής παλινδρόμησης.
Σε αντίθεση με το OLS, που δίνει ίσο βάρος σε όλα τα σημεία, το LOESS δίνει μεγαλύτερο βάρος στους πιο κοντινούς γείτονες. Αυτό υλοποιείται μέσω των σταθμισμένων ελαχίστων τετραγώνων (Weighted Least Squares, WLS), όπου τα βάρη μειώνονται όσο αυξάνεται η απόσταση από το σημείο εστίασης. Από αυτή τη στάθμιση προκύπτει και το άλλο όνομα της μεθόδου, LOWESS (Locally Weighted Scatterplot Smoothing)· οι δύο ονομασίες χρησιμοποιούνται συχνά εναλλακτικά.
Το LOESS και η σταθμισμένη παλινδρόμηση
Το OLS μπορεί να θεωρηθεί ειδική περίπτωση του WLS, στην οποία όλα τα σημεία δεδομένων έχουν ίσα βάρη.
Αφού προσαρμόσει τα τοπικά μοντέλα, το LOESS κάνει προβλέψεις σε κάθε σημείο δεδομένων και τις συνδέει για να σχηματίσει μια ομαλή καμπύλη. Στο παράδειγμά μας, χρησιμοποιήσαμε μόνο μία προβλεπτική μεταβλητή—δηλαδή εξετάσαμε πώς μεταβάλλεται το αποτέλεσμα (μίλια ανά γαλόνι) καθώς μεταβάλλεται ένα μόνο πράγμα (το βάρος του οχήματος). Αυτό ονομάζεται «χρήση μίας προβλεπτικής μεταβλητής». Όμως το LOESS, όπως και το OLS, δεν περιορίζεται σε μία είσοδο. Κατ’ αρχήν, μπορεί να χρησιμοποιηθεί και με πολλές προβλεπτικές μεταβλητές ταυτόχρονα (αν και η συνάρτηση της Python που χρησιμοποιούμε παρακάτω υποστηρίζει μόνο μία). Για παράδειγμα, θα μπορούσαμε να εξετάσουμε πώς το βάρος του οχήματος και ο κυβισμός του κινητήρα επηρεάζουν μαζί τα μίλια ανά γαλόνι. Το LOESS μπορεί επίσης να χειριστεί πιο σύνθετες περιπτώσεις, όπως όταν η επίδραση μιας μεταβλητής εξαρτάται από μια άλλη ή όταν η σχέση είναι καμπύλη και όχι ευθεία.
Υλοποίηση του LOESS στην Python
Στην Python, η συνάρτηση lowess() του statsmodels.nonparametric.smoothers_lowess προσαρμόζει ένα μοντέλο LOESS. Σε αυτή τη συνάρτηση, δίνουμε την εξαρτημένη μεταβλητή στο όρισμα endog και την ανεξάρτητη μεταβλητή στο όρισμα exog. Επιπλέον, το όρισμα frac ελέγχει το εύρος ζώνης, καθορίζοντας το ποσοστό των δεδομένων που χρησιμοποιείται σε κάθε τοπική προσαρμογή, κάτι που καθορίζει πόσο ομαλή ή ευέλικτη είναι η καμπύλη που προκύπτει. Από προεπιλογή, η lowess() εκτελεί επίσης τρεις επαναλήψεις ανθεκτικότητας (robustness iterations, όρισμα it), οι οποίες δίνουν μικρότερο βάρος στα σημεία με μεγάλα κατάλοιπα, ώστε τα outliers να επηρεάζουν λιγότερο την καμπύλη. Τέλος, ορίζουμε return_sorted = False: από προεπιλογή, η lowess() επιστρέφει τις προσαρμοσμένες τιμές ταξινομημένες ως προς την ανεξάρτητη μεταβλητή, και έτσι δεν θα αντιστοιχούσαν πλέον στις γραμμές του data.
Προσαρμόζουμε δύο μοντέλα LOESS με εύρος ζώνης 0.2 και 0.8 και στη συνέχεια αξιολογούμε πόσο καλά προσαρμόζονται στα δεδομένα, υπολογίζοντας το pseudo R-squared, το οποίο προκύπτει από το άθροισμα τετραγώνων των καταλοίπων (RSS) και το συνολικό άθροισμα τετραγώνων (TSS). Αν και, τεχνικά, η σύγκριση του R-squared του OLS με το pseudo R-squared του LOESS δεν είναι κατάλληλη λόγω της διαφορετικής φύσης των μοντέλων—το OLS είναι ένα καθολικό γραμμικό μοντέλο και το LOESS ένα τοπικό μη γραμμικό μοντέλο—εδώ την κάνουμε για λόγους απλότητας και διαίσθησης. Η προσέγγιση αυτή δίνει ένα διαισθητικό μέτρο προσαρμογής, παρόλο που τα μοντέλα έχουν διαφορετικές υποκείμενες υποθέσεις και δομές.
from statsmodels.nonparametric.smoothers_lowess import lowessimport numpy as np# LOESS με εύρος ζώνης 20%## Προσαρμογή του μοντέλου και λήψη των προσαρμοσμένων τιμών## (με την αρχική σειρά των γραμμών)loess_0_2_preds = lowess( endog = data["Miles_per_Gallon"], exog = data["Weight"], frac =0.2, return_sorted =False )## Υπολογισμός του R-squared### Υπολογισμός του αθροίσματος τετραγώνων των καταλοίπων (RSS)rss = np.sum((data["Miles_per_Gallon"] - loess_0_2_preds) **2)### Υπολογισμός του συνολικού αθροίσματος τετραγώνων (TSS)tss = np.sum( (data["Miles_per_Gallon"] - np.mean(data["Miles_per_Gallon"])) **2 )### Υπολογισμός του pseudo R-squaredr_squared =1- (rss / tss)# Εμφάνιση του pseudo R-squaredr_squared
np.float64(0.8281457251031239)
# LOESS με εύρος ζώνης 80%## Προσαρμογή του μοντέλου και λήψη των προσαρμοσμένων τιμών## (με την αρχική σειρά των γραμμών)loess_0_8_preds = lowess( endog = data["Miles_per_Gallon"], exog = data["Weight"], frac =0.8, return_sorted =False )## Υπολογισμός του R-squared### Υπολογισμός του αθροίσματος τετραγώνων των καταλοίπων (RSS)rss = np.sum((data["Miles_per_Gallon"] - loess_0_8_preds) **2)### Υπολογισμός του συνολικού αθροίσματος τετραγώνων (TSS)tss = np.sum( (data["Miles_per_Gallon"] - np.mean(data["Miles_per_Gallon"])) **2 )### Υπολογισμός του pseudo R-squaredr_squared =1- (rss / tss)# Εμφάνιση του pseudo R-squaredr_squared
np.float64(0.8169465686312869)
Το pseudo R-squared είναι περίπου 0.83 με εύρος ζώνης 0.2 και περίπου 0.82 με εύρος ζώνης 0.8. Τα μοντέλα με μικρότερο εύρος ζώνης προσφέρουν γενικά πιο στενή προσαρμογή στα δεδομένα, με κίνδυνο όμως υπερπροσαρμογής (overfitting). Αντίθετα, ένα μεγαλύτερο εύρος ζώνης (0.8) δίνει μια πιο ομαλή, λιγότερο σύνθετη καμπύλη. Για να τα συγκρίνουμε οπτικά:
Εικόνα 13.7: Διάγραμμα διασποράς με καμπύλες παλινδρόμησης LOESS με εύρος ζώνης 0.2 (κόκκινη) και 0.8 (πράσινη) και ευθεία παλινδρόμησης OLS (μαύρη).
Η κόκκινη καμπύλη (frac = 0.2) είναι πολύ ευέλικτη και ακολουθεί στενά τα δεδομένα, ενώ η πράσινη καμπύλη (frac = 0.8) είναι πιο σταθερή και αναμφισβήτητα καταλληλότερη για γενίκευση (generalization).
Γενικά, όσο μικρότερο είναι το εύρος ζώνης, τόσο πιο σύνθετο είναι το μοντέλο και τόσο πιο στενά προσαρμόζεται στα δεδομένα. Αυτή όμως δεν είναι πάντα η καλύτερη προσέγγιση, καθώς—στο άκρο—το μοντέλο θα προσάρμοζε μια καμπύλη που περνά από όλα τα διαθέσιμα σημεία δεδομένων. Ένα τέτοιο μοντέλο δεν θα είχε κανένα νόημα από την άποψη της ερμηνευσιμότητας. Πρόκειται για το ίδιο φαινόμενο που είδαμε όταν χρησιμοποιήσαμε ένα πολυώνυμο υψηλού βαθμού με το OLS. Στο παραπάνω παράδειγμα, η κόκκινη καμπύλη ήδη παρουσιάζει απότομες τοπικές καμπές (για παράδειγμα, για βάρη μεταξύ 3 και 4) που είναι απίθανο να αντανακλούν ένα πραγματικό μοτίβο. Η υπερπροσαρμογή είναι κάτι που πρέπει να λαμβάνουμε υπόψη και όταν χρησιμοποιούμε το LOESS.
Ο σκοπός του LOESS
Το LOESS έχει σχεδιαστεί για να αναδεικνύει μοτίβα στα δεδομένα που είναι δύσκολο να αποτυπωθούν με την παραδοσιακή γραμμική παλινδρόμηση. Όπως αναφέραμε, το OLS προσαρμόζει μία ενιαία καθολική ευθεία σε ολόκληρο το σύνολο δεδομένων, ενώ το LOESS προσαρμόζεται τοπικά, εκτιμώντας μικρές σταθμισμένες παλινδρομήσεις γύρω από κάθε παρατήρηση. Αυτή η τοπική προσέγγιση επιτρέπει στο LOESS να αποκαλύπτει μη γραμμικές σχέσεις και να δίνει ομαλές τάσεις που αντανακλούν καλύτερα τη δομή των δεδομένων.
Η μέθοδος είναι ιδιαίτερα χρήσιμη για την περιγραφική μοντελοποίηση και τη διερευνητική ανάλυση. Υπερέχει όταν ο στόχος είναι να οπτικοποιήσουμε τάσεις, να εντοπίσουμε μοτίβα ή να κάνουμε τοπικές προβλέψεις, και όχι να καταλήξουμε σε έναν ενιαίο καθολικό τύπο. Δίνοντας μεγαλύτερο βάρος στα κοντινά σημεία, το LOESS ισορροπεί μεταξύ ευελιξίας και σταθερότητας, αποκαλύπτοντας λεπτές δομές χωρίς να επηρεάζεται υπερβολικά από μακρινές παρατηρήσεις. Τα μικρότερα εύρη ζώνης δίνουν πιο σύνθετα μοντέλα, τα οποία μπορεί να προσαρμόζονται πιο στενά στα δεδομένα αλλά είναι και πιο επιρρεπή στην υπερπροσαρμογή. Η βέλτιστη επιλογή εξαρτάται από το συγκεκριμένο πλαίσιο και τους στόχους της ανάλυσης.
Στην πράξη, το LOESS βοηθά να απαντήσουμε σε ερωτήματα όπως το πώς μεταβάλλεται η μεταβλητή απόκρισης σε όλο το εύρος των προβλεπτικών μεταβλητών, αν υπάρχουν τοπικές τάσεις ή αποκλίσεις που ένα καθολικό μοντέλο μπορεί να μην εντοπίσει, και ποια μοτίβα μπορούν να οπτικοποιηθούν πριν εφαρμόσουμε πιο τυπικές τεχνικές μοντελοποίησης. Επομένως, το LOESS είναι ένα πολύτιμο εργαλείο για την κατανόηση και την οπτικοποίηση σύνθετων σχέσεων στα δεδομένα, προσφέροντας γνώσεις που καθοδηγούν την περαιτέρω ανάλυση και τη λήψη αποφάσεων.
Περιορισμός του LOESS στο Seaborn
Δυστυχώς, η regplot() δεν παρέχει άμεσα κάποιο όρισμα για τη ρύθμιση της παραμέτρου εξομάλυνσης (smoothing) του LOESS. Όταν χρησιμοποιείται lowess = True, το Seaborn εφαρμόζει εξομάλυνση LOWESS με τις προεπιλεγμένες ρυθμίσεις του statsmodels (frac = 2/3), οπότε για να ρυθμίσουμε το εύρος ζώνης πρέπει να προσαρμόσουμε την καμπύλη LOWESS χειροκίνητα.
Ανακεφαλαίωση
Σε αυτό το κεφάλαιο παρουσιάσαμε μια διαισθητική επισκόπηση του LOESS, μιας μεθόδου που επεκτείνει τη γραμμική παλινδρόμηση εφαρμόζοντας τοπικά σταθμισμένα ελάχιστα τετράγωνα γύρω από κάθε σημείο δεδομένων. Το LOESS είναι ιδιαίτερα αποτελεσματικό για την αποκάλυψη μη γραμμικών σχέσεων και τη δημιουργία ομαλών οπτικοποιήσεων δεδομένων.
Συζητήσαμε τον μηχανισμό του LOESS, μεταξύ άλλων την προσέγγιση του κινούμενου παραθύρου και τη χρήση των σταθμισμένων ελαχίστων τετραγώνων για να δοθεί μεγαλύτερη βαρύτητα στα κοντινά σημεία. Αναδείξαμε επίσης τη βασική υπερπαράμετρο (hyperparameter), το εύρος ζώνης (ή span), η οποία ελέγχει την ισορροπία μεταξύ ευελιξίας και ομαλότητας. Τα μικρότερα εύρη ζώνης δίνουν πιο ευέλικτες καμπύλες που μπορεί να υπερπροσαρμόζονται, ενώ τα μεγαλύτερα δίνουν πιο ομαλές τάσεις.
Η πρακτική υλοποίηση στην Python παρουσιάστηκε με τη συνάρτηση lowess() του statsmodels.nonparametric.smoothers_lowess και με την sns.regplot() του Seaborn, με τη δεύτερη να χρησιμοποιείται για να δείξουμε πώς οι καμπύλες LOESS και οι ευθείες παλινδρόμησης μπορούν να οπτικοποιηθούν σε ένα διάγραμμα διασποράς. Τέλος, τονίσαμε τον σκοπό του LOESS: είναι ένα ισχυρό εργαλείο για περιγραφική μοντελοποίηση, διερευνητική ανάλυση και οπτικοποίηση σύνθετων σχέσεων, αν και είναι λιγότερο κατάλληλο όταν απαιτείται μία ενιαία αναλυτική εξίσωση σε κλειστή μορφή.